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Побудова моделей дактилем для синтезу 
дактильної інформації 


У статті розглядається підхід до побудови специфікацій рухів людини, а саме дактильної жестової 
мови. Розглядається інформаційна модель руки людини. Описано процес побудови специфікації для 
дактильної жестової мови. Проведено порівняльний аналіз семи жестових мов. Запропоновано підхід 
та програмну реалізацію на платформі Меї системи передачі асинхронних повідомлень, що застосовуються 
для проведення паралельних обчислень на усіх ядрах процесора, уникнення блокування основного 
потоку програми, написання сценаріїв діяльності програми. 


Вступ 


Розвиток комп'ютерної техніки, виникнення та розвиток новітніх підходів до 
аналізу, організації, зберігання та подання інформації робить можливим створення інфор- 
маційних технологій у сфері моделювання та аналізу комунікаційної жестової мови |. 
Перспективними з точки зору практичних застосувань були виділені напрямки розробок 
зі створення систем навчання українській жестовій мові (УЖМ; з використанням триви- 
мірних моделей людини, а саме: розробка інформаційно-навчального комплексу «Україн- 
ська дактильна абетка». 

Особливі потреби глухих людей спонукають до більш детального вивчення про- 
цесу побудови жестової мови та синтезу елементів жестової мови. В даній роботі роз- 
глядається процес побудови дактильної абетки української жестової мови. Задача полягає в 
тому, щоб на основі текстового опису дактилеми отримати повну інформацію про жест, 
який необхідно побудувати на тривимірній моделі руки. Складність полягає в тому, що 
текстовий опис, який наразі існує для опису дактилем української дактильної абетки, 
був розроблений для навчального процесу |21, фотографічні знімки та відео не передають 
структуру дактилеми з кутом огляду в 3607, а отже, виникає складність у визначенні 
положень пальців в закритих позиціях. Необхідно створити такий опис дактилем, який 
би дозволив однозначно визначати положення пальців руки. Іншою проблемою є те, що 
кожна людина-носій жестової мови відповідно до її унікальності та початкового джерела 
навчання жестовій мові вивчає та засвоює мову не однозначним чином, а додає свій 
«діалект» до жестів. А звідси виникає проблема визначеності в «правильній» вимові. 
Тому існує необхідність в створенні такої моделі руки, яка б відповідала встановленим 
нормам до показу дактилем. При побудові інформаційної моделі руки людини необхід- 
но враховувати ці особливості і водночас нехтувати ознаками, які є несуттєвими при 
показі дактилем (наприклад, рівень зігнутості пальця може бути різним в кожної лю- 
дини при показі однієї і тієї ж дактилеми, але це не говорить про те, що існує така 
кількість варіантів показу однієї 1 тієї ж дактилеми). Отже, задача полягає в тому, щоб 
на основі формального текстового опису дактилем отримати його комп'ютерне пред- 
ставлення у вигляді тривимірної моделі руки. 
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Метою даної роботи є аналіз побудови української дактильної абетки та фор- 
малізація опису дактилем для задачі моделювання рухів людини на тривимірній 
моделі людини та синтезу дактильної інформації; розробити комп'ютерну технологію на 
основі проведених досліджень. 


Аналіз останніх досліджень і публікацій 


Опис людських рухів - важка задача з великим відсотком невизначеності від- 
повідно до людського тіла. Проблемі вивчення жестикуляції з лінгвістичної точки 
зору присвячені праці таких вчених, як У. Стоку (АЖМ), Г.Л. Зайцевої (РЖМ) та ін. 
У світі існують також системи специфікації жестової мови. Одна з таких систем -- 
Гамбурзька система Натбиго, Мокгайоп Зу5іет (НаштЖобув) (3. Вона включає в себе 
різноманітні графічні позначення, завдяки чому можливо описати великий спектр 
жестів. Також широкого застосування набула система 5ієпУУтіїег (Маїегіе Зийоп) (41. 
У цих системах використовуються графічні позначення в комбінації з текстовими 
позначеннями, що в термінах комп'ютерного моделювання не завжди зручно для 
використання, оскільки для моделювання необхідно мати інформацію в термінах 
комп'ютерного представлення. 

У даній роботі ставиться задача дослідити процес побудови жестів української 
дактильної абетки з точки зору формалізації рухів для побудови формальної моделі 
руки для задач моделювання тривимірної моделі руки, синтезу та розпізнавання 
жестів. 


Аналіз та формалізація дактильної абетки 
на основі природних характеристик 


Параметри побудови дактилеми 


У. Стоку виділив три параметри для опису структури жесту: положення жесту, форма 
руки (її конфігурація та орієнтація) та рух |5|. Базуючись на даній класифікації, виділимо 
три основні параметри, за якими відбувається аналіз дактилем: 

1. Конфігурація пальців руки. 

2. Орієнтація руки в просторі. 

3. Характер руху. 

У даній роботі особливу увагу приділено дослідженню саме конфігурації кисті руки, 
оскільки в процесі побудови тривимірної моделі руки людини головним є визначення 
правильної конфігурації пальців руки, а вже потім розташування руки в просторі та ані- 
мація руху. На даному етапі положення руки в просторі відносно промовця не вразо- 
вується; вважається, що рука - це об'єкт у просторі. Для побудови специфікацій дактиль- 
них жестових одиниць (дактилем) використано наступні параметри: конфігурація пальців, 
орієнтація руки, рух руки. 

Конфігурація пальців - це визначення таких параметрів, як перелік пальців, що 
задіяні в побудові дактилеми, конфігурація пальців (рівень нахилу, зігнутості) та взаєм- 
не розташування відносно один одного. 

Українська дактильна абетка складається з 33 дактилем, з яких 24 мають різну кон- 
фігурацію пальців (А, Б, В, Г, Е, Є, Ж, 3, И, І, Л, М, Н,О, П,Р, С, Т, У, Ф,Х,Ч, Ю, Я), 
решта 9 мають аналогічну конфігурацію пальців та відрізняються від попередніх орієнта- 
цією руки (наприклад Ш) та (або) рухом (наприклад Б, Ї, К). 
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Таблиця 1 - Дактилеми з однією конфігурацією пальців та різною орієнтацією 
руки в просторі та рухом 


Дактилеми 


Зображення 


Го-ТГ-ь 


Інформаційна модель дактилеми 


Інформаційна модель дактилеми -- це впорядкована трійка (К, О, М), де параметр К 
описує конфігурацію пальців, О -- орієнтацію руки в просторі, М -- рух. 
Параметр К - впорядкована шестірка //», 5, /3, /», /5, с), де параметри //, ), ), /5, /5 
описують конфігурацію кожного пальця окремо, с - взаємне розташування між пальцями 
(вказівний, середній, безіменний, мізинець), що використовуються для побудови да- 


ктилеми. 


Л - конфігурація великого пальця, 
5Б- конфігурація вказівного пальця, 
8 - конфігурація середнього пальця, 
11 - конфігурація безіменного пальця, 
5 - конфігурація мізинця. 


Значення параметра /; наведено в табл. 2. 


Таблиця 2 - Значення параметра /; 


Значення | Опис Приклад 
1 Рівно А (Українське) 
2-а Відхиляється в площині долоні на г градусів Г (Українське) 

3-1 Поверх кулака (або покриває декілька пальців) | Я, І (Українське) 
3-2 Поверх вказівного пальця 
3-3 Поверх середнього пальця Р (Українське) 
3-4 Поверх безіменного пальця Н (Українське) 
3-5 Поверх мізинця Т (Українське) 

4 Всередині кулака (на долоні) В, Х (Українське) 
5-0 Утворює дугу з іншими пальцями не замкнену С (Українське) 
5-1 Утворює дугу з іншими пальцями замкнену О (Українське) 
5-2 Утворює перехрест з пальцем Т (Польське) 

6 Горизонтально, підпирає пальці Е (Американське) 
7-3 Подушечкою спирається на середній палець Т (Американське) 
7-4 Подушечкою спирається на безіменний палець | М (Американське) 
7-5 Подушечкою спирається на мізинець М (Американське) 

8 Паралельно площині долоні К (Американське) 


Параметр 5) - х | мі), і - (2,5), де хє|О,|, уєО,11). х має зміст - рівень 
нахилу пальця і відносно рівного стану (х 1), у - рівень зігнутості пальця і (пара- 


метр у може бути відсутній в описі, якщо описання зігнутості не потребується). 
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Рівний стан ( х -1) - еквівалентний конфігурації руки при показі дактилеми «В» 
(всі пальці випрямлені та знаходяться на площині, що утворюється долонею). 
Закритий стан ( х -0) еквівалентний конфігурації руки при показі дактилеми «А» 
(пальці зігнуті в кулак). 
Параметр с визначається наступним чином: 
0, якщо з 4х пальців в анімації задіяно І або жодного 
1, якщо пальці піднято рівно вгору або притиснуто один до одного 
с 232, якщо пальці не дотикаються один до одного 
3, якщо пальці заходяться один поверх іншого (дактилема «Я») 
4, якщо пальці зміщуються в різні площини (дактилема «Б») 
Приклад визначення специфікацій для конфігурації пальців руки наведено в 
табл. 3. 


Таблиця 3 - Специфікація конфігурації пальців руки 


Дактилема Л р В / Б с Зображення 
х 4 0 0 о  |о2021| 0 5 
Кк 3-1 0 0 1 1 2 
Я, 
Б 5-1 0,5 Г0,51 1 0,5 0,51 | 0,5 Г0,5) 10,5 0,51 1 Я 
1 
Я 3-1 0 0 1 1 3 5 


Параметр О - впорядкована трійка (а, Б, у), де а, В, у - кути повороту руки в 
просторі відносно початкового стану. 


(ЛУ, 
Під початковим станом розуміється орієнтація руки О /0,0,0) (. При дактилюванні 
дактилеми «В», рука повертається на кут а - 1802, тобто долонею до співбесідника. 
Параметр М описує характер руху. На даному етапі побудови специфікації 
параметр руху описується наступним чином: 


0, рух відсутній 
1, рух здійснюється частиною руки (наприклад «Г») 
М «42, рух описовий (наприклад «3», «Д») 
3, зміщення в просторі, поворот (наприклад «К», «Щ») 


4, перехід від однієї конфігурації пальців в іншу 


На основі визначених параметрів була побудована таблиця специфікацій з 12 
параметрами, що наведено в табл. 4. 
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Таблиця 4 - Таблиця специфікацій дактилем 


ЗК 


Мова 


Дактилема 


Б 


7 


В 


А 


Л 


(зі 


а 


В 


7 


М 


Укр 


У 


1 


0 


0 


0 


2-45 


М. 


180 


0 


0 


0 


Дані позначення є легкими для сприйняття в контексті моделювання рухів та ін- 
формативні. Завдяки ним легко будувати специфікації для інших дактильних абеток. 


Аналіз дактилем 


При побудові специфікацій дактилем для української дактильної абетки також було 
проведено дослідження наступних дактильних абеток: російської, польської, грецької, 
американської, німецької та французької. Аналіз специфіки побудови жестів руки в 
різних мовах надає змогу побудувати таку специфікацію, що дозволяє описувати дакти- 
леми не тільки УЖМ, а й інших одноручних дактильних абеток. 

На основі аналізу УДЖМ було проведено аналіз інших мов та побудована таблиця 
специфікацій для української, американської, німецької, французької, польської, російської 
та грецької дактильної абетки (табл. 5). 


Таблиця 5 - Результати дослідження дактильних абеток 
Дактильна | Україн- рос Німе- | ЗР бе Поль- | Росій- | Гре 
абетка ська цька б ська | ська |цька 
ська ка 
Кількість 33 26 30 26 сб 33 24 
дактилем 
Кількість | од 23 24 21 19 24 | 21 
конфігурацій 


За отриманими специфікаціями було проведено порівняльний аналіз української да- 
ктильної абетки з зазначеними раніше мовами. Було порівняно визначені раніше параметри 
конфігурації пальців руки, орієнтацією руки в просторі та рухом було знехтувано, оскіль- 
ки будь-яка дактилема утворюється шляхом побудови конфігурації пальців та визначен- 
ням певної орієнтації руки в просторі та додаванням руху. Результати аналізу наведені в 
табл. 6. У таблиці наведена кількість однакових дактилем відповідно до визначених спе- 
цифікацій. 

1 - кількість існуючих конфігурацій в даній мові. 

2 - кількість конфігурацій, що збігаються із 24 конфігураціями української 
дактильної абетки. 


Таблиця 6 - Результати порівняння конфігурації пальців дактильних абеток 


Амер-ка Польська Грецька Російська Німецька Фран-ка 
1 23 19 21 24 24 21 
12 11 10 21 13 10 


Також було проведено порівняльний аналіз кожної з цих дактильних абеток 


Таблиця 7 - Конфігурації пальців, що є спільними для 7 мов 


між собою. Можна визначити, що 5 конфігурацій є спільними для усіх 7 мов. 


б 2 фе 
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За побудованими специфікаціями було проведено аналіз 7 зазначених дактильних 
абеток, а саме конфігурацій пальців. Із 156 конфігурацій пальців, що визначають 204 
дактилеми сімох жестових мов, унікальними є 50 конфігурацій. Позначимо цю множину 
за (. Звідси випливає, що будь-яку дактилему з цих семи дактильних абеток можна 
отримати із множини / шляхом змінення орієнтації руки в просторі та (або) додаванням 
руху. Можна зробити висновок, що можливо побудувати множину моделей руки людини, 
що буде однозначно визначати конфігурацію пальців руки людини для дактильних абеток 
української, російської, польської, грецької, американської, німецької та французької 
жестових мов. 


Система передачі асинхронних повідомлень як засіб 
організації паралельних обчислень 1 її використання 
для задачі моделювання жестової мови 


Традиційний підхід до створення програмного забезпечення орієнтується на ви- 
користання послідовних алгоритмів. Цей вибір був очевидним, оскільки десятиліттями 
обчислювальні машини в основному використовували один процесор. Окрему увагу слід 
приділити переходу до сучасної парадигми подій як засобу комунікації між операційною 
системою та програмою: типова програма має принаймні один потік, що працює у циклі 
обробки повідомлень від операційної системи, що інформують програму про ту чи іншу 
подію |6|. Як наслідок, основні середовища та інструментальні засоби розробки програм- 
ного забезпечення (Мі5ца! 5кидйіо, ХСоде, Ме, Сосоа, ОТ, |ауха) за замовчуванням 
орієнтуються саме на однопоточну парадигму обробки подій. Ці фактори значно впли- 
нули на якість більшості програм, які використовуються в сьогоденні. 

Слід виділити дві проблеми, пов'язані з даним підходом (парадигмою): 

- «Підвисання» інтерфейсу користувача при проведенні обчислень або операцій 
вводу/виводу. 

- Неповне використання апаратних ресурсів комп'ютера при проведенні обчислень, 
які мають альтернативні паралельні алгоритми. 

Перевагою є підтримка зі сторони інструментальних засобів розробки, як наслідок, 
відносна простота підходу. 

Для багатьох програмних середовищ сформовано шаблони, набори правил та (або) 
бібліотеки, що певною мірою вирішують ці недоліки. Серед основних слід виділити бі- 
бліотеки Стапа Сепіег Дізраїсі (програмна бібліотека асинхронних повідомлень для сере- 
довища Обіесйуе С, надбудова над Сосоа), ТазК Рагаїіе! Ілгагу, Вх Егатемогк; шаблони 
ГоМогкАзупс/ОпУогкСоппрієтеа, ВесіпУогк/ЕпадУогк. 

Пропонується альтернативний підхід та програмна реалізація у вигляді бібліотеки 
для платформи .Меї для використання потоків обробки даних у пріоритетній (зваженій) 
черзі та передача асинхронних повідомлень (задач) як засіб вирішення зазначених проблем. 


Теоретична частина 


На нижчому рівні абстрагування для розвантаження основного потоку обробки по- 
дій та виконання обчислень (завдань) на різних ядрах процесора(ів) використовуються 
додаткові потоки, робота (задачі) яким передаються за допомогою повідомлень. Як 1 у 
стандартному підході до обробки подій від операційної системи, кожен з таких потоків 
знаходиться в однотипному циклі обробки повідомлень: 

поки (потрібно продовжувати роботу): 

п - отримати перше повідомлення з черги 

обробка повідомлення(п) 
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Доступ до черги можливий з різних потоків та синхронізується за допомогою 
мютексів. Відповідно, під час виконання процедури обробка повідомлення можливе 
додавання повідомлень (задач) у чергу. 

На вищому рівні абстрагування робота поділяється на типи, визначені користу- 
вачем, та виконується у класах-абонентах, що підписані на виконання роботи різного типу. 
Кількість фактичних потоків, що проводитимуть виконання, абстрагована; у граничному 
випадку таких може і не бути. Черга повідомлень є частиною класу-абонента. 

Центральним місцем обміну повідомленнями є окремий клас - шина, на якому 
також повинні бути зареєстровані усі класи-абоненти і який є проміжною ланкою 
при передачі повідомлень. Шина також виконує контролюючу функцію та зберігає 
лічильник кількості повідомлень, що знаходяться в обробці. 

Поза типовим сценарієм функціонування програми, слід окремо розглянути завер- 
шення програми. Для цього передбачається окремий тип повідомлення. Таке повідомлен- 
ня дозволяється передати через шину лише І раз; на відміну від решти повідомлень, 
повідомлення про завершення не передається відразу до класу-абонента, а зберігається на 
шині, поки лічильник кількості повідомлень, що знаходяться в обробці, не стане рівним 
нулю. Тоді повідомлення про завершення буде передано відповідному класові-абоненту -- 
таким чином спроектовано сценарій завершення програми. Отже, центральними функціо- 
нальними класами є шина, повідомлення та абонент. 


Практичний опис 


МевзавіпеВиз - імплементація класу «шина». Програма повинна створити екземпляр 
цього класу для роботи з бібліотекою асинхронних повідомлень. 

Сепегаї5цБбястібег - імплементація «класу-абонента». Кожен клас, що реєстру- 
ватиметься на шині, повинен наслідувати даний. У ньому: 

- 14 - властивість, ідентифікаційний номер абонента, 

- МогКегТргеадРгіогіїу - властивість, пріоритет потоків виконання роботи, 

- Ргосе85Мез5аєе(т52) - абзігасі - процедура обробка повідомлення. 

Сепегаї51п8ЇеТЬгеадедЗцЬясгібег - клас-абонент, що використовує один потік 
обробки. 

Сепега|Миї и Тргеадеддибестібег -- клас-абонент, що використовує задану кількість 
потоків обробки. У ньому: 

- питрегобУогкіпе ТПеадя - властивість, кількість потоків обробки. 

СепегаїЇТігеадє855сгібег - клас-абонент, що для кожного повідомлення ви- 
користовує окремо створений потік. СепегаЙі5раїсрегяц5сгібег - клас-абонент, що 
використовує основний потік для виконання роботи. 

СепегаЇМеззаєе - імплементація класу «повідомлення». У ньому: 

- 14 - властивість, ідентифікаційний номер повідомлення, 

- ТагееїЗибесгібегі - властивість, ідентифікаційний номер абонента для даного 
повідомлення, 

- Ргіогібу - властивість, пріоритет повідомлення, 

- ЕтгогНапаїег - властивість для вказання обробника помилок, 

- ОпМеззаєеРгосез8едй - подія, що оголошується після закінчення обробки пові- 
домлення. 

ЗедпепбаЇМеззаєе, наслідник Сепега|Мезваге, приймає як параметр масив інших по- 
відомлень, які по черзі передаються на шину обміну; кожне повідомлення передається 
після завершення обробки попереднього. Власне ЗедпепіаЇМеззаєе оголошується завер- 
шеним після завершення останнього повідомлення з масиву. 
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РагаПе|Меззаге, наслідник СепегаЇМезваєє, приймає як параметр масив інших по- 
відомлень, які відразу передаються на шину обміну. Власне РагаПе|Меззаєе оголошуєть- 
ся завершеним тоді, коли усі повідомлення з масиву завершені. 

М/аїїМеззаєе, наслідник СепегаЇМеззаєе, приймає як параметр інтервал часу 5; об- 
робка У/аї Мезбаєе на шині займає і часу. Використовується для створення планованих 
пауз. 

ТітеСрескедМевзаєе, наслідник СепегаЇМеззаге, приймає як параметр інтервал 
часу і, повідомлення сопігоЙедМезваге, повідомлення ІопеЕхесибоп, повідомлення Іопе- 
ЕхесипопРайаск. Обробка даного повідомлення полягає в передачі на шину повідомлення 
сопітоЙПедМевззаєе; якщо його обробка займає більше, ніж 8 часу, на шину також пере- 
дається повідомлення ІопеЕхесийоп -- у такому випадку також буде передано повідомлення 
ІопеЕхесийопКаїйбаск, але після завершення обробки повідомлення сопігоЙедМезваєе. 
Даний тип повідомлень (ТитеСПескедМеззаге), наприклад, використовується для сценаріїв, 
коли основне повідомлення типово займає невеликий проміжок часу, але потрібно перед- 
бачити повідомлення для користувача про діяльність програми у разі довгої обробки 
основного повідомлення. 


Характеристика 


Шина приймає повідомлення та асинхронно додає їх у чергу того класу-абонента, 
що відповідає полю ТагеекЗзибесгібегі повідомлення. Це дозволяє розробляти так звані 
«слабозалежні» системи за рахунок підміни класу-абонента, який буде використовуватись 
у кінцевій версії програмного продукту. Як наслідок, легше створювати і тестувати окремі 
модулі програм; легше організовувати взаємодію кількох програмістів у команді. 


Висновки 


Дані дослідження є важливим етапом на шляху побудови якісної тривимірної моделі 
руки людини. Отримана інформаційна модель дактилем дозволяє ефективно будувати 
специфікації для дактильних абеток різних жестових мов. Дослідження української 
дактильної абетки в рамках цієї роботи сприяє розвитку комп'ютерних технологій для 
вивчення цієї дактильної жестової мови, а побудова специфікацій дактильних абеток 
різних жестових мов та їх порівняльний аналіз є підгрунтям для розробок систем навчання 
дактильній абетці різних мов. Підхід передачі асинхронних повідомлень показав свою 
ефективність на практиці при створенні програмних засобів «Українська жестова мова» та 
«Українська дактильна жестова мова». 

Подальша робота буде направлена на дослідження руху при побудові дактилем; під- 
вищення абстрактизації бібліотеки, зокрема, виділення черг роботи, що дозволить ство- 
рювати різнотипні класи-абоненти. Це, для прикладу, дозволить проводити обчислення 
окремо на центральному 1 на графічному процесорах, делегувати обчислення на інші 
комп'ютери в мережі. 
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Упор 99 


Ю.В. Крак, Ю.В. Барчукова, Б.А. Троценко 

Построение моделей дактилем для синтеза дактильной информации 

В статье рассматриваєтся подход к построению спецификаций движений человека, а именно дактильного 
жестового язьта. Рассматриваєтся информационная модель руки человека. Описан процесс построения 
спецификации для дактильного жестового язьтка. Проведен сравнительньгй анализ семи жестовьхх язьтков. 
Предложен подход и программная реализация на платформе .Меї системь передачи асинхронньх 
сообщений, применяємьх для проведения параллельньтх вьічислений на всех ядрах процессора, избежания 
блокирования основного потока программьі, написания сценариев деятельности программь. 


Уи. У. Ктак, Уи. У. Вагспикота, В.А. Ттої5енко 

Сгеабіоп ої Модсеі5з ої Дасбуї! Спіїз їог пе 5упіПезіз ої Раску! Паїогтабйіоп 

Ап арргоасі Їог сгеайпя а 5ресійсаноп ої бпеег-врейштя, ргосе55 15 зцєєезіва їп Пе агіїсіє. ТБе зресійсайоп 15 
Базед оп а 5абое8іва іпіогтайопа! плодє! ої а ритап раїт. ТБе ргосе85 ої сгеайпо а 5ресійсайоп 15 Фезспіеа їп 
Чекаї!. 5еуеп 5ієп Іапецаєез Баме Бееп апаїугеай. Ког Фе ргорег апа Га5і 50Їоуаге ппріетепіаноп ої Ппоег- 
зреШпе, зупіре5і5 ап арргоасії ої ап азупспгопоця тезбабіпе 15 5зпєдезіед апа ітріетепіса утібіп .Меї 
їатемогК. Тре арргоасі аПомя5 ицзіпе аї! ауайабіє СРО соге5 Гог сотрийпє Бапа 5(аіез, ргеуєпі5 ЛІ Фгеайї 
їгот БіосКіпе, п5е5 зсепагіо-Дгіуеп арргоасі о 50Йхуаге деуеіортепі. 
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